Non-vocal State N

本稿では,市販 CD等の歌声と伴奏を含む音楽音 響信号と歌詞の時間的対応付け手法について述べる. つまり,音楽音響信号と対応する歌詞のアラインメン トをとることで,歌詞の各フレーズの開始時刻と終 了時刻を推定する.本手法は,音楽ビデオのテロップ 自動作成や,歌詞を用いた頭出しなどに応用できる. 関連する先行研究として,Wangらが開発した LyricAlly [1]がある.彼らは,歌声の音韻的特徴を考慮 せず,歌詞中の各音素の持続長のみを用いて時間的対 応関係を推定していた.しかし,音素の持続長は楽曲 中の登場位置によって大きく異なるので,正確な対応 付けはできなかった. 本研究では,音声認識で用いられる強制アライン メントに基づき,歌声の音韻的特徴を用いて時間的 対応関係を推定する.しかし,現在の音声認識で用 いられるアラインメント手法は,背景音等を含まな いクリーンな話し声しか対象としていないので,歌 声と共に伴奏音が演奏されている場合や歌が歌われ ない間奏部が存在する場合の正確な対応付けの実現 が課題となる.この問題を解決するため,まず我々が 以前開発した伴奏音抑制 [2]を適用する.この手法で は,メロディの調波構造を抽出・再合成することで, 歌声を含むメロディのみを分離する.次に,図 1に 示した歌声・非歌声状態を行き来する隠れマルコフモ デル (HMM)に基づく歌声区間検出を用いて,実際 に歌声が存在する区間を検出する.最後に,強制アラ インメントを用いて,分離歌声と歌詞を対応づける. その際,音響モデルを特定歌手の分離歌声に適応さ せることも可能である.